Tensor Comprehensions
from S4TF
Deep Learning向けJIT Compiler
GPU向けのコードを生成
https://www.slideshare.net/ssuser479fa3/tensor-comprehensions-90286116
PyTorchで動く
外でも動く?動かせることを目指している?
論文
https://arxiv.org/abs/1802.04730
github
フレームワークに依存しない、高性能な抽象
Facebook製
コンパクト
関数定義はある
条件分岐はない
ループもない
静的型検査
カーネルを定義する
行列の掛け算や、活性化関数、らへんを簡単に定義できる
言語処理系で言えば、インタプリタから呼ばれるネイティブコードみたいなとこ
ニーズ
研究者が自分たちで考えた理論をGPU向けに走らせたい
でもネイティブコードを書くのは辛い
普通の利用者は用意されているAPIを使えば事足りるのであまり有り難みがない
Tensor Comprehensionsをパースして、Halideの中間表現に変換する
autotunes
https://facebookresearch.github.io/TensorComprehensions/autotuner.html
パラメータのチューニングを自動で最適化
Profile-guided optimizationのようなもの
遺伝的アルゴリズムを使う
lush
Tensor Comprehensionsの元になった言語
参考
Misreading Chat 1の前半
https://research.fb.com/announcing-tensor-comprehensions/